Sebelum karier politiknya, beliau berkhidmat sebagai pegawai di Angkatan Pertahanan Israel. Kemudian diangkat menjadi ketua tertinggi Pasukan Pertahanan Israel (IDF). Semasa Perang Yom kippur, Ehud Barak mengetuai rejimen kereta kebal menggempur juga menyelamat pasukan payung terjun Batalion 890 diketuai Yitzhak Mordechai.

Sebagai komando elit Sayeret Matkal, Ehud Barak memimpin beberapa operasi terkenal. Antaranya Operasi Isotop untuk menyelamwatkan tawanan pesawat Penerbangan Sabena 572 di Lapangan Terbang Lod pada 1972. Tahun 1973 terlibat dalam misi rahsia Operasi Pemuda Spring di Beirut di mana dia menyamar sebagai wanita dalam rancangan membunuh pemimpin PKO.

Dia juga perancang Operasi Entebbe 1976 untuk membebaskan tebusan pesawat Air France di Lapangan Terbang Entebbe, Uganda. Seterusnya terlibat dalam Operasi Bayonet sehingga terbongkarnya sel / markas Black September Palestin. Dia juga menjadi perancang pembunuhan pemimpin PLO Abu Jihad Palestin semasa Tunis Raid.